נולד בשנת תרמ"ב (1882) בוורמס שבגרמניה. למד רפואה כללית וב-1914 שירת כרופא בצבא הגרמני. ב-1933, כשפרצו הרדיפות האנטישמיות בגרמניה, עלה לארץ-ישראל. הוא התיישב בחיפה ועבד כרופא פרטי. בתקופה זו למד ערבית. לאחר מכן עבר לבית-שאן, שם יצר מערכת יחסים קרובה עם התושבים היהודים והערבים כאחד. ממעוטי היכולת נהג לגבות תשלום נמוך עבור שירותיו הרפואיים. במקביל הצטרף לארגון ה"הגנה". כשפרצו מאורעות תרצ"ו שררה גם בבית-שאן אוירה עוינת נגד התושבים היהודים וד"ר להרס נאלץ לעזוב את העיר יחד עם שאר התושבים היהודים. הוא עבר להתגורר בטבריה, אך היה ממשיך לנסוע לבית-שאן פעמיים בשבוע. כעבור חודשים אחדים פנתה אליו משלחת מטעם התושבים הערביים בבית-שאן בבקשה כי יחזור לעיירה, תוך מתן הבטחה, כי לא יאונה לו כל רע. בט"ו באדר תרצ"ז (26.2.1937), זמן קצר לאחר ששב לבית-שאן, הקישו על דלתו בשעת לילה שלושה ערבים. ד"ר להרס, שסבר כנראה כי באים לבקש את סיועו הרפואי, פתח את הדלת ונורה. הוא הובא למנוחת עולמים בבית-העלמין החדש בחיפה. הניח אשה בהריון.

העיתון "פלשתין" כתב לאחר הרצח כי ד"ר יוסף להרס היה חביב על התושבים. שמו הונצח בספר "מאורעות תרצ"ו-תרצ"ז". עשר שנים מאוחר יותר, נרצח אחיינו של יוסף להרס - הוגו להרס, שהיה גם כן רופא בנסיבות דומות.